Scaling Laws for Task-Specific LLM Distillation
任务特定LLM蒸馏的缩放定律
🧭 LLM蒸馏缩放定律与监督格式
NVIDIA
量化了领域特定LLM压缩中数据集大小、压缩比、监督格式的缩放规律，发现思维链监督能恢复剪枝损失的通用知识。
📌 工作参考价值（4 点）
- 若对电商搜索/推荐中的 LLM 进行压缩（如商品分类、意图识别），使用思维链（CoT）监督可以显著恢复结构化剪枝损失的通用知识，避免模型变成纯粹的领域专家而丧失泛化能力。Label-only 蒸馏（直接 logit KD 或 LoRA fine-tune）会导致通用能力塌陷。
- 迭代剪枝+蒸馏（每步剪枝后重新蒸馏）明显优于一次性剪枝，更匹配生产环境中逐步压缩模型的工程流程；该策略可迁移到实时服务对延迟敏感的场景。
- 缩放定律给出明确的数据量-压缩比关系，实践中可据此预估：要将模型压缩到目标大小，需要准备多少领域数据；数据集过小时，CoT 监督的数据效率优势更明显。
- LoRA 蒸馏在 label-only 设定下保留了比直接 logit KD 更多的通用知识，如果由于成本无法生成 CoT 标注，优先选用 LoRA 蒸馏作为折中方案。